AI Papers Daily

#Distribution Shift

5 篇

Continually Post-training Small Models via Synthetic Self-distillation

合成自蒸馏实现小模型持续后训练

🧭 持续后训练 · 合成自蒸馏

KAIST AI · LG AI Research

提出合成自蒸馏，通过稍大同家族模型生成in-distribution监督，解决小模型持续后训练中获取与遗忘问题

📌 工作参考价值（4 点）

• 在电商/搜索场景持续更新轻量级 query 理解或 on-device 模型时，可借鉴「同家族稍大模型生成 in-distribution 伪标签」的蒸馏方式，避免直接使用真实用户反馈造成分布偏移和旧知识遗忘。
• 使用 rejection sampling 过滤低质量合成样本，能提升伪标签可靠性，适合电商/搜索中大量噪声标签或弱监督数据的场景。
• 持续学习前先量化模型输出分布偏移，发现偏移过大时强制启用 in-distribution 重写或防遗忘策略，可部署为在线监控指标。
• 低延迟场景（如移动端推荐特征提取、query 改写）可线下用稍大模型生成高质量训练数据，线上仅部署小模型，兼顾效果与推理成本。

Training | 2026-10-08 | HF Daily | score 7/10

Continual LearningSelf-DistillationSmall LMsPost-trainingDistribution ShiftRejection Sampling

Distributional Extrapolation for Interactions

交互效应的分布外推方法 DExtrI

🧭 组合外推与交互效应建模

Seminar for Statistics, ETH Zürich · Department of Statistics, University of Washington

提出 DExtrI，从仅单变量活跃的训练数据外推多变量组合的交互效应，并给出可行性理论保证

📌 工作参考价值（4 点）

• 推荐/广告中常需预测多策略同时生效的组合效果（如优惠券+置顶+新样式），而训练数据往往只有单策略生效的 A/B 实验。DExtrI 提供了一种从单变量观测外推组合效应的统计学框架，可直接迁移到营销组合效果预估。
• 对于特征交互敏感但线上实验昂贵的场景（如排序模型多目标权重、召回通道组合），可借鉴其 axis-aligned 采样策略：只需跑边际参数扫描，再用 DExtrI 预测联合配置，显著降低实验成本。
• 其理论保证刻画了“何时组合外推可行”的条件，可帮助判断在哪些业务问题上可以安全地从单变量实验外推到多变量组合，避免盲目用复杂模型外推导致不可靠结论。
• 方法对分布外组合输入的稳定性有明确建模，对推荐系统在用户/物品特征组合出现长尾或未见组合时的鲁棒性设计有启发，尤其是交互项的结构假设可以简化线上模型的分布外泛化问题。

Other | 2026-08-20 | stat.ML | score 6/10

ExtrapolationInteraction EffectsDistribution ShiftDrug CombinationHyperparameter Optimization

Scoped Verification for Reliable Long-Horizon Agentic Context Evolution under Distribution Shift

分布漂移下通过局部验证实现长程智能体上下文可靠演化

🧭 Agent 持久指令的结构化可靠演化

RedMind Research, San Francisco, CA, USA · National Taiwan University, Taipei, Taiwan

提出图正则化上下文演化(GRACE)，将指令表示为类型化语义图并局部验证更新，使长程Agent可靠性提升7倍

📌 工作参考价值（4 点）

• 将系统指令/策略用类型化图（节点+关系）维护，取代扁平长文本，便于增量更新和冲突检测；可适用于推荐Agent的规则积累
• 采用局部邻域验证：修改指令时只检查直接关联节点的约束，避免全局重审，降低校验成本
• 图更新后自动生成文本指令 checkpoint，保持部署兼容性；工程上可作为指令管理中间层
• 使用 pass^k 等严格通过率指标评估 Agent 在分布漂移下的可靠性，比简单成功率更能暴露脆弱性

Agent | 2026-07-10 | cs.CL | score 7/10

Agentic ContextPersistent InstructionTyped Semantic GraphLocal VerificationDistribution ShiftGRACE

Multi-Task Bayesian In-Context Learning

多任务贝叶斯上下文学习

🧭 摊销贝叶斯推理 · 先验自适应上下文学习

New York University · NYU Langone Health

将先验信息表示为上下文数据集前缀，训练Transformer快速适应不同先验的贝叶斯预测推理

📌 工作参考价值（4 点）

• 在推荐系统中，利用类似上下文学习机制快速适应新的用户群体或变化偏好：将少量历史交互作为上下文示例，模型动态调整预测分布，无需微调。
• 为推荐模型提供轻量级的不确定性量化：预测分布可直接用于探索-利用决策，提升数据效率。
• 将用户/物品元特征或领域知识构造为先验前缀，使模型在推理时即插即用适应新场景，缓解冷启动与分布偏移问题。
• 工程上可作为元学习组件嵌入现有多任务推荐管道，只需增加少量上下文 token 开销，实现快速任务适应。

Training | 2026-06-18 | cs.LG | score 6/10

In-Context LearningBayesian InferenceAmortized InferenceUncertainty QuantificationDistribution Shift

Toward Calibrated Mixture-of-Experts Under Distribution Shift

分布偏移下校准混合专家模型

🧭 分布偏移下 MoE 校准

Johns Hopkins University

证明硬路由 MoE 的专家级校准在分布偏移下仍能保证全局校准，而软路由不成立，并提出对抗重加权提升校准-准确率权衡

📌 工作参考价值（4 点）

• 推荐/广告系统常面临分布偏移（促销、季节、新用户群），使用 MoE 结构时可直接借鉴本文结论：硬路由下只需校准各专家即可保证整体概率可靠性，工程实现更轻量。
• 若业务需软路由以获取更平滑的专家组合，可用提出的对抗重加权损失（惩罚偏移下的路由聚合校准误差）微调模型，尤其适合高价值子集（高消费用户、长尾物品）上的概率估计优化。
• 广告出价、CTR 预估对概率校准极其敏感，该方法在不牺牲精度的前提下提升 ECE，可直接集成到训练 pipeline 中，作为辅助损失项。
• 在 Agent 多智体或任务路由场景，不同专家处理不同意图/域，分布偏移常见，本文的理论分析和训练技巧可指导路由策略选择与校准保障。

Training | 2026-06-18 | cs.LG | score 7/10

Mixture-of-ExpertsCalibrationDistribution ShiftAdversarial ReweightingSoft RoutingHard Routing